Beta Distribution

or
베타 분포

Create : 2025년 5월 18일 20:52Update : 2025년 8월 21일 19:45

# Tag:

Beta Distribution(베타 분포)

매우 유연한 분포를 가지는 continious한 확률 분포. 파라미터 값에 따라 분포의 모양이 확연히 달라진다.

$X \sim Beta(a,b)$ 를 따를 때 그 PDF는

f (x) = c x^{a - 1} (1 - x)^{b - 1}

⇒ $c$ 는 normalizing constant, $0 < x < 1$ .

$a, b$ : 는 각각 0보다 큰 실수.
- $a = b = 1$ : 이 경우 $f (x) = c$ 가 된다. 베타 분포는 균등분포의 일반화라고 할 수도 있다.
- $a = b = 1/2$ : U자 형태의 그래프가 나오게 된다.
- $a = 1, b = 2$ : 선형으로 증가하는 그래프가 나오게 된다.
- $a = 2$ , $b = 2$ : 거꾸로 뒤집힌 $U$ 자 형태의 그래프가 나오게 된다.

위와 같이 균등분포를 포함해 매우 다양한 분포를 만들어 낼 수 있다. 베타 분포의 확률 변수는 0과 1사이의 비율, 백분율, 또는 확률 값을 의미한다.

특징:

확률의 확률을 모델링 하는데 주로 사용된다. 즉, Prior로 종종 사용된다. parameter가 $(0, 1)$ 에 속하는 확률 값과 같은 경우라면, Prior로 사용되기 적절하다.
이항 분포에 Conjugate Prior로 쓰인다.
타 분포와도 잘 연결된다.

Conjugate Prior for Binomial Distribution

가능도 (Likelihood): 관찰된 데이터( $X$ )는 이항 분포를 따른다고 하자. ( $n$ 번의 시도 중 $k$ 번 성공)
- $X ∣ p \sim Binomial (n, p)$ : 하지만, $p$ 를 원래는 정확히 알 수가 없으므로, MLE의 방법론에 따르면 이를 적절히 가정해야 한다. 일단 $p$ 는 모르지만, $p$ 를 안다고 가정하고 조건부 확률로 구한다.
- 사전 분포 (Prior): 성공 확률 $p$ 에 대한 사전적 믿음을 베타 분포로 설정.
  - $p \sim Beta (a, b)$

그렇다면 Bayes' Theorem에 의해 Posterior를 구할 수 있다. Posterior $p ∣ X$ 가 $X = k$ 일 때 PDF는

f (p ∣ X = k) = \frac{P ( X = k ∣ p ) f ( p )}{P ( X = k )]} = \frac{[ ( k n ) p ^{k} ( 1 - p ) ^{n - k} ] \cdot [ c \cdot p ^{a - 1} ( 1 - p ) ^{b - 1} ]}{P ( X = k )}

이 때, $p$ 와 관련 없는 상수를 제외하고 정리하면 위 식은

\propto p^{k + a - 1} (1 - p)^{n - k + b - 1}

에 비례한다.

이는 결국 다시 보면 Beta Distribution이고, Posterior 역시 $Beta (a + x, b + n - X)$ 를 따르는 Beta Distribution이라는 걸 의미한다. 이는 계산을 편리하게 만들어주며, 이를 켤레 특성이라고 한다.

위는 $X$ 번의 성공, $n - X$ 번의 성공을 거치면서 기존 $a$ 번의 성공, $b$ 번의 실패에 대한 사전적 믿음이 베이지안 규칙에 의해 업데이트 된 결과라 볼 수 있다.

불확실성이 존재할 때, 이를 교정 하는데 가장 간편하고 유연한 방법이 바로 Beta Distribution이며, 사실 상 위의 방식은 라플라스의 후속 규칙을 $a = 1$ , $b = 1$ 로 두어 균등 분포로 만들고 진행한 것과 동일하다.

Bayes' Billiards

$a$ 와 $b$ 가 정수인 경우에 대해서, 미적분을 쓰지 않고 베타 분포의 정규화 상수 $c$ 를 구하는 방법.

f (x) = c x^{a - 1} (1 - x)^{b - 1}

이고, 정규화 상수를 결정하려면

c = 1/ \int_{0}^{1} x^{k} (1 - x)^{n - k} d x

골프공 $n + 1$ 개가 있고, 균등하게 랜덤으로 $(0, 1)$ 사이에 배치한다고 했을 때,

1개를 먼저 칠하고 그 다음 $n + 1$ 개를 균등 랜덤 배치.
$n + 1$ 개를 모두 균등하게 랜덤 배치하고 나서, 그 중 하나를 랜덤으로 칠하기

위 두 경우는 동일하다.

$X$ 를 칠해진 공 왼쪽에 위치한 공의 개수(성공)이라 하자. 색공을 먼저 던지고, 이를 조건으로 삼으면, $p$ 를 칠해진 공의 위치라 할 때

P (X = k) = \int_{0}^{1} P (X = k ∣ p) \cdot g (p) d p = \int_{0}^{1} (k n) p^{k} (1 - p)^{n - k} \cdot 1 d p = (k n) \int_{0}^{1} p^{k} (1 - p)^{n - k} d p

균등 분포이므로, $g (p) = 1$ 이다.

위의 식은, 2번 경우를 생각해보면 0~ $n$ 개 중 하나를 랜덤으로 칠한 것과 동일하므로 $\frac{1}{n + 1}$ 과 동일하다.

Relation with Gamma Distribution

각각 독립적인 감마 분포

$X \sim Gamma (a, λ)$
$Y \sim Gamma (b, λ)$

$X$ 와 $Y$ 는 서로 독립이라고 가정. 각각을 대기시간이라고 한다면,

총 대기시간: $T = X + Y$
- 감마분포의 가산성(각각이 지수분포의 합으로 표현되는 걸 생각하면 타당하다)에 의해 $T \sim Gamma (a + b, λ)$ .
- 만약 $a$ , $b$ 가 정수가 아닐 경우 MGF를 이용해서 구해도 된다.
총 대기시간에서 $X$ 가 차지하는 비율: $W = \frac{X}{X + Y}$
- 계산의 편의를 위해 $λ = 1$ 로 가정

$T$ 와 $W$ 의 Joint Distribution 유도

변수 변환을 통해 $f_{T, W} (t, w)$ 를 구함.

변수 변환 설정
- $t = x + y$
- $w = \frac{x}{x + y}$
- 이를 $x$ 와 $y$ 에 대해 정리하면: $x = tw$ , $y = t (1 - w)$
자코비안(Jacobian) 행렬식 계산

f_{T, W} (t, w) = f_{X, Y} (x, y) \frac{d ( x , y )}{d ( t , w )}

- 자코비안은 행렬값은 씌워 사용하는데, 이를 통해 음의 PDF가 생기는 걸 방지한다.
-

J = det (\frac{\partial x}{\partial t} \frac{\partial y}{\partial t} \frac{\partial x}{\partial w} \frac{\partial y}{\partial w}) = det (w 1 - w t - t) = - wt - t (1 - w) = - t

f_{T, W} (t, w) = \frac{1}{Γ ( a ) Γ ( b )} x^{a} e^{- x} y^{b} e^{- y} \frac{1}{x y} ∣ J ∣ = \frac{1}{Γ ( a ) Γ ( b )} w^{a - 1} (1 - w)^{b - 1} t^{a + b} e^{- t} \cdot \frac{1}{t}

결합 PDF 계산
- 이 식을 $W$ 에 대한 부분과 $T$ 에 대한 부분으로 분리하면,

f_{T, W} (t, w) = [\frac{Γ ( a + b )}{Γ ( a ) Γ ( b )} w^{a - 1} (1 - w)^{b - 1}] \cdot [\frac{1}{Γ ( a + b )} t^{a + b - 1} e^{- t}]

- $\Gamma(a+b)$를 각각 분자와 분모에 곱해 나누어, 정규화 상수를 만들어준다.
- 각각이 $w$와 $t$로 분리되므로 $W$와 $T$는 서로 독립.

Joint Distribution에 대해서, $W$ 의 Marginal Distribution을 구할려면 $t$ 에 대해서 적분하면 되므로

f_{W} (w) = \int_{- \infty}^{\infty} f_{T, W} (t, w) d t = \frac{Γ ( a + b )}{Γ ( a ) Γ ( b )} w^{a - 1} (1 - w)^{b - 1}

$W \sim Beta (a, b)$ 이라는 결론을 얻을 수 있고, 베타분포의 정규화 상수는

\frac{Γ ( a + b )}{Γ ( a ) Γ ( b )}

라는 결론에 다다른다.

$E [W]$ 구하기: 베타 분포의 Expectation

$W$ 와 $T$ 가 독립이라는 걸 이용하면,

E [W] = E [\frac{X}{X + Y}]

E [W] E [T] = E [\frac{X + Y}{X}] E [X + Y] = E [X]

E [\frac{X + Y}{X}] = \frac{E [ X + Y ]}{E [ X ]} = \frac{a}{a + b}

Variance of Beta Distribution

V [X] = \frac{ab}{( a + b ) ^{2} ( a + b + 1 )} = \frac{μ ( 1 - μ )}{a + b + 1}